Pengantar Pemodelan Generatif: Melampaui Diskriminasi

Kita sedang beralih dari pemodelan diskriminatif, yang menyelesaikan tugas klasifikasi dan regresi dengan mempelajari probabilitas bersyarat $P(y|x)$, menuju bidang yang lebih kompleks yaitu pemodelan generatif. Tujuan utama kita kini berubah menjadi estimasi densitas: mempelajari distribusi data dasar yang lengkap, yaitu $P(x)$ itu sendiri. Perubahan mendasar ini memungkinkan kita menangkap ketergantungan yang rumit dan struktur kompleks dalam dataset berdimensi tinggi, melampaui pemisahan batas semata hingga mencapai pemahaman dan sintesis data yang sejati.

1. Tujuan Generatif: Memodelkan $P(x)$

Tujuan dari model generatif adalah untuk memperkirakan distribusi probabilitas $P(x)$ dari mana data pelatihan $X$ berasal. Model generatif yang sukses dapat melakukan tiga tugas penting: (1) Estimasi Densitas (memberikan skor probabilitas pada input $x$), (2) Pengambilan Sampel (menghasilkan titik data baru sepenuhnya $x_{new} \sim P(x)$), dan (3) Pembelajaran Fitur Tak Berlabel (menemukan representasi yang bermakna dan terpisah dalam ruang laten).

2. Taksonomi: Likelihood Eksplisit vs. Implisit

Model generatif pada dasarnya dikategorikan berdasarkan pendekatannya terhadap fungsi likelihood. Model Densitas Eksplisit, seperti Autoencoder Variasional (VAEs) dan Model Aliran, mendefinisikan fungsi likelihood matematis dan berusaha memaksimalkannya (atau batas bawahnya). Model Densitas Implisit, yang paling terkenal adalah Jaringan Adversarial Generatif (GANs), menghindari perhitungan likelihood sama sekali, melainkan mempelajari fungsi pemetaan untuk mengambil sampel dari distribusi $P(x)$ menggunakan kerangka pelatihan adversarial.

Data Synthesis and Feature Interpolation

Generative models demonstrate their capability by generating novel, high-fidelity instances (e.g., unseen faces, complex textures) or by allowing semantic interpolation in the learned latent space, illustrating the model's grasp of data variability.

Examples of AI-generated faces and interpolated features.

Question 1

In generative modeling, what is the primary distribution of interest?

$P(x)$

$P(y|x)$

$P(x|y)$

$P(y)$

Question 2

Which type of generative model relies on adversarial training and avoids defining an explicit likelihood function?

Variational Autoencoder (VAE)

Autoregressive Model

Generative Adversarial Network (GAN)

Gaussian Mixture Model (GMM)

Challenge: Anomaly Detection

Leveraging Density Estimation

A financial institution has trained an explicit density generative model $G$ on millions of legitimate transaction records. A new transaction $x_{new}$ arrives.

Goal: Determine if $x_{new}$ is an anomaly (fraud).

Step 1

Based on the density estimate of $P(x)$, what statistical measure must be evaluated for $x_{new}$ to flag it as anomalous?

Solution:
The model must evaluate the probability (or likelihood) $P(x_{new})$. If $P(x_{new})$ falls below a predefined threshold $\tau$, meaning the new point is statistically improbable under the learned distribution of normal transactions, it is flagged as an anomaly.